Periocular refers to the region of the face that surrounds the eye socket. This is a feature-rich area that can be used by itself to determine the identity of an individual. It is especially useful when the iris or the face cannot be reliably acquired. This can be the case of unconstrained or uncooperative scenarios, where the face may appear partially occluded, or the subject-to-camera distance may be high. However, it has received revived attention during the pandemic due to masked faces, leaving the ocular region as the only visible facial area, even in controlled scenarios. This paper discusses the state-of-the-art of periocular biometrics, giving an overall framework of its most significant research aspects.

The emergence of COVID-19 has had a global and profound impact, not only on society as a whole, but also on the lives of individuals. Various prevention measures were introduced around the world to limit the transmission of the disease, including face masks, mandates for social distancing and regular disinfection in public spaces, and the use of screening applications. These developments also triggered the need for novel and improved computer vision techniques capable of (i) providing support to the prevention measures through an automated analysis of visual data, on the one hand, and (ii) facilitating normal operation of existing vision-based services, such as biometric authentication schemes, on the other. Especially important here, are computer vision techniques that focus on the analysis of people and faces in visual data and have been affected the most by the partial occlusions introduced by the mandates for facial masks. Such computer vision based human analysis techniques include face and face-mask detection approaches, face recognition techniques, crowd counting solutions, age and expression estimation procedures, models for detecting face-hand interactions and many others, and have seen considerable attention over recent years. The goal of this survey is to provide an introduction to the problems induced by COVID-19 into such research and to present a comprehensive review of the work done in the computer vision based human analysis field. Particular attention is paid to the impact of facial masks on the performance of various methods and recent solutions to mitigate this problem. Additionally, a detailed review of existing datasets useful for the development and evaluation of methods for COVID-19 related applications is also provided. Finally, to help advance the field further, a discussion on the main open challenges and future research direction is given.

面部表现攻击检测（PAD）对于保护面部识别（FR）应用程序至关重要。 FR性能已被证明对某些人口统计学和非人口统计学组是不公平的。但是，面部垫的公平性是一个研究的问题，这主要是由于缺乏适当的注释数据。为了解决此问题，这项工作首先通过组合几个知名的PAD数据集，在其中提供了七个人类宣传的属性标签，从而提出了一个组合的注释数据集（CAAD-PAD）。然后，这项工作通过研究我们的CAAD-Pad上的四个面部垫方法，全面分析了一组面垫的公平及其与培训数据的性质和操作决策阈值分配（ODTA）的关系。同时代表垫子的公平性和绝对垫性能，我们引入了一种新颖的指标，即准确性平衡公平（ABF）。关于CAAD-PAD的广泛实验表明，训练数据和ODTA会引起性别，遮挡和其他属性组的不公平性。基于这些分析，我们提出了一种数据增强方法Fairswap，该方法旨在破坏身份/语义信息和指南模型以挖掘攻击线索而不是与属性相关的信息。详细的实验结果表明，Fairswap通常可以提高垫子性能和面部垫的公平性。

数据和算法中固有的偏见使得基于广泛的机器学习（ML）的决策系统的公平性不如最佳。为了提高此类ML决策系统的信任性，至关重要的是要意识到这些解决方案中的固有偏见并使它们对公众和开发商更加透明。在这项工作中，我们旨在提供一组解释性工具，以分析处理不同人口组时面部识别模型行为的差异。我们通过利用基于激活图的高阶统计信息来构建解释性工具来做到这一点，以将FR模型的行为差异与某些面部区域联系起来。与参考组相比，在两个数据集和两个面部识别模型上的实验结果指出了FR模型对某些人口组的反应不同。这些分析的结果有趣地与分析人体测量学差异和人类判断差异的研究结果非常相吻合。因此，这是第一项专门解释不同人口组上FR模型的偏见行为并将其直接链接到空间面部特征的研究。该代码在这里公开可用。

变形攻击是不断影响深度识别系统的众多威胁之一。它包括从不同个体中选择两张面，并将它们融合到包含两者的身份信息的最终图像中。在这项工作中，我们提出了一个新颖的正规化术语，该术语考虑了两者中存在的身份信息，并促进了两个正交潜在媒介的创建。我们在FRLL数据集中评估了我们提出的方法（Orthomad），并在五个不同的数据集中培训时评估了模型的性能。我们以小的RESNET-18为骨干，我们实现了大多数实验的最新结果，而竞争性则在其他实验中结果。本文的代码将公开可用。

本文介绍了基于2022年国际生物识别技术联合会议（IJCB 2022）举行的基于隐私感知合成训练数据（SYN-MAD）的面部变形攻击检测的摘要。该竞赛吸引了来自学术界和行业的12个参与团队，并在11个不同的国家 /地区举行。最后，参与团队提交了七个有效的意见书，并由组织者进行评估。竞争是为了介绍和吸引解决方案的解决方案，这些解决方案涉及检测面部变形攻击的同时，同时出于道德和法律原因保护人们的隐私。为了确保这一点，培训数据仅限于组织者提供的合成数据。提交的解决方案提出了创新，导致在许多实验环境中表现优于所考虑的基线。评估基准现在可在以下网址获得：https：//github.com/marcohuber/syn-mad-2022。

变形攻击是一种表现攻击的一种形式，近年来引起了人们越来越多的关注。可以成功验证变形图像到多个身份。因此，此操作提出了与旅行或身份文件的能力有关的严重安全问题，该文件被证实属于多个人。以前的作品涉及了变形攻击图像质量的问题，但是，主要目标是定量证明产生的变形攻击的现实外观。我们认为，与真正的样品相比，变形过程可能会影响面部识别（FR）中的感知图像质量和图像实用程序。为了研究这一理论，这项工作对变形对面部图像质量的影响进行了广泛的分析，包括一般图像质量度量和面部图像实用程序测量。该分析不仅限于单个变形技术，而是使用十种不同的质量度量来研究六种不同的变形技术和五个不同的数据源。该分析揭示了变形攻击的质量得分与通过某些质量度量测量的真正样品的质量得分之间的一致性。我们的研究进一步建立在这种效果的基础上，并研究基于质量得分进行无监督的变形攻击检测（MAD）的可能性。我们的研究探索了intra和数据库间的可检测性，以评估这种检测概念在不同的变形技术和真正的源源源上的普遍性。我们的最终结果指出，一组质量措施（例如岩石和CNNIQA）可用于执行无监督和普遍的MAD，正确的分类精度超过70％。

基于监督的基于学习的形态攻击检测（MAD）解决方案在处理已知变形技术和已知数据源的攻击方面取得了杰出的成功。但是，鉴于变形攻击的变化，由于现有MAD数据集的多样性和数量不足，监督的疯狂解决方案的性能大大下降。为了解决这一问题，我们通过利用现有的大规模面部识别（FR）数据集和卷积自动编码器的无监督性质，通过自定进程异常检测（SPL-MAD）提出了一个完全无监督的疯狂解决方案。使用一般的FR数据集，这些数据集可能包含无意识的和未标记的操纵样品来训练自动编码器，可以导致攻击和真正的样本的各种重建行为。我们从经验上分析了这种行为，以提供扎实的理论基础来设计我们的无监督的疯狂解决方案。这也导致建议以完全无监督的方式整合我们改良的修改后的自定进度学习范式，以增强善意和攻击样本之间的重建误差可分离性。我们对各种MAD评估数据集的实验结果表明，所提出的无监督的SPL-MAD解决方案优于广泛监督的MAD解决方案的整体性能，并为未知攻击提供了更高的概括性。

这项工作总结了2022年2022年国际生物识别联合会议（IJCB 2022）的IJCB被遮挡的面部识别竞赛（IJCB-OCFR-2022）。OCFR-2022从学术界吸引了总共3支参与的团队。最终，提交了六个有效的意见书，然后由组织者评估。在严重的面部阻塞面前，举行了竞争是为了应对面部识别的挑战。参与者可以自由使用任何培训数据，并且通过使用众所周知的数据集构成面部图像的部分来构建测试数据。提交的解决方案提出了创新，并以所考虑的基线表现出色。这项竞争的主要输出是具有挑战性，现实，多样化且公开可用的遮挡面部识别基准，并具有明确的评估协议。

深度学习的面部识别模型通过利用具有较高计算成本的完整精确浮点网络来遵循深神经网络的共同趋势。由于完整的模型所需的大量内存，将这些网络部署在受计算需求约束的用例中通常是不可行的。以前的紧凑型面部识别方法提议设计特殊的紧凑型建筑并使用真实的培训数据从头开始训练它们，由于隐私问题，在现实世界中可能无法使用。我们在这项工作中介绍了基于低位精度格式模型量化的定量解决方案。 Quantface降低了现有面部识别模型所需的计算成本，而无需设计特定的体系结构或访问真实的培训数据。 Quantface将隐私友好的合成面数据引入量化过程中，以减轻潜在的隐私问题和与真实培训数据有关的问题。通过对七个基准和四个网络体系结构进行的广泛评估实验，我们证明了Quantface可以成功地将模型大小降低到5倍，同时在很大程度上维护完整模型的验证性能而无需访问真实的培训数据集。